Rajamani dilahirkan di Tapah, Perak kepada V. Mailvaganam, seorang pekerja Jabatan Kerja Raya yang merupakan ayah yang amat tegas. Kerjaya olahraganya bermula ketika beliau dipilih untuk berlari pusingan terakhir bagi pasukan lari berganti-ganti di sebuah sekolah rendah kerajaan aliran bahasa Inggeris di tempat asalnya. Ketika itu, Rajamani belajar dalam Darjah 4. Walaupun peserta-peserta daripada sekolah lain untuk pusingan terakhir itu adalah pelari-pelari yang terkenal, Rajamani berjaya menewaskan mereka, satu pencapaian yang beliau berasa amat berbangga sehingga hari ini. Selepas memperoleh pingat-pingat setiap tahun dalam kejohanan-kejohanan pada peringkat sekolah, negeri dan negara, Rajamani berhenti sekejap ketika beliau belajar dalam Tingkatan 5 untuk menumpukan perhatian kepada pelajarannya.

Selepas peperiksaannya, Rajamani menghabiskan kebanyakan masanya untuk tidur, dan ini menjengkelkan ayahnya yang mengaturnya untuk dilatih oleh jurulatih R. Supiah setiap hari antara pukul 4.30 petang hingga 7.30 malam. Untuk pergi ke padang untuk latihan, beliau terpaksa mencari-cari sesiapa di kawasan kejiranannya yang sudi meminjam basikal kepadanya. Ini kemudian menjadi suatu perbuatan yang rutin.

Bapa Rajamani kemudian membawanya ke seorang tukang kasut untuk membuat kasut pepakunya yang pertama. Kasut itu diperbuat daripada kulit dengan paku-paku tergergaji dipasang pada tapak kasut itu. Rajamani menggunakan kasut ini untuk latihan serta untuk penyertaan kejohanan, dan ketika pepaku-pepaku itu longgar, beliau akan kembali ke tukang kasut untuk mengukuhkan tapak kasut dengan lebih banyak kulit.

Kehidupannya ketika itu amat susah, tanpa sebarang kemewahan, dan keluarganya makan sahaja apa yang ada di atas meja dapur. Amat berbeza dengan ahli-ahli sukan sekarang yang amat dimanjakan oleh kerajaan Malaysia, Rajamani langsung tidak mendapat sebarang bantuan daripada kerajaan, termasuk elaun ketika menyertai temasya-temasya sukan olahraga. Ketika R. Supiah, jurulatihnya, meminta Rajamani untuk membeli sut balapan, keluarga Rajamani tidak mampu membelinya walaupun harga ketika itu hanya RM20. Oleh itu, jurulatihnya membeli tuala-tuala mandi untuk dijahit menjadi sut-sut balapannya. Nasibnya, sebuah kedai sukan bersetuju untuk menaja Rajamani sebelum tuala-tuala mandi itu dihantar untuk dijahit.

Selepas latihan selama enam bulan di bawah Supiah, Rajamani melayakkan diri untuk menyertai Sukan Olimpik di Tokyo pada tahun 1964. Ini merupakan kali pertama Rajamani keluar negara. Beliau diberikan wang sebanyak RM64 untuk elaun dobi, tanpa sebarang faedah lain. Oleh itu, Rajamani terpaksa berbaik-baik dengan peserta-peserta benua India yang membawa tukang masak sendiri untuk makanannya.

Rajamani mengkadarkan kemenangan empat pingat emas dalam Sukan SEAP 1965 sebagai kemuncak kerjayanya disebabkan beliau berlari di tempat sendiri. Walaupun Rajamani merupakan seorang warganegara bukan Melayu, beliau berkata dalam sebuah temu bual dengan akhbar New Sunday Times pada Julai 2006, "Setiap kali aku melihat bendera Malaysia dinaikkan dan lagu kebangsaan disiarkan, aku menangis. Aku amat berbangga untuk berdiri di atas tetingkat, dengan setiap orang menepuk tangan dan memberikan sorakan. Aku mempunyai satu perasaan yang mesra yang menyebabkan aku hendak memberikan yang terbaik kepada negaraku." Bapa Rajamani selalu hadir ketika beliau berlari, dan Tunku Abdul Rahman, perdana menteri ketika itu, juga kekadang menghadiri Sukan SEAP 1965 itu.

Titik akhir kerjaya

Pada tahun 1968, satu peristiwa berlaku yang menyebabkan Rajamani menamatkan kerjaya olahraganya. Ketika itu, beliau sedang memanaskan badan di Pusat Latihan Polis, Jalan Gurney (kini dinamakan Jalan Semarak) di Kuala Lumpur apabila hujan mulai turun. Rajamani, bersama-sama dengan pelatih polis P.N. Govindan serta penyerta-penyerta lain, cuba melindungi diri di sebuah astaka di sebelah hujung padang apabila kilat memanah. Rajamani pengsan dan dihantar ke Hospital Besar Kuala Lumpur, tetapi Govindan mati disambar petir. Beliau hilang ingatan sementara dan hanya mengingati kilat itu ketika membaca mengenainya di akhbar.

Selama tiga hari, Rajamani tidur di atas usung di antara dua buah katil di Wad Kelas Ketiga. Pada hari keempat, ketika hospital mendapat perutusan bahawa Tunku Abdul Rahman ingin melawat Rajamani, beliau dipindah dengan pantas ke Wad Kelas Satu, satu wayang kulit yang sering berlaku bukan sahaja di Malaysia. Bagaimanapun, Tunku tidak datang tetapi meminta drebarnya untuk menghantar sejambak bunga. Walaupun begitu, beliau berkata dalam akhbar Straits Times (kini New Straits Times) pada 26 Mac 1968, "Ini adalah tonik yang terbaik bagi aku setakat ini, dan [bunga] ini pasti membantu mempercepatkan pemulihanku."

Rajamani dibenarkan keluar dari hospital selepas sepuluh hari. Pegawai-pegawai olahraganya bersetuju untuk menanggung bayaran rawatan hospital tetapi selepas tiga bulan, mereka masih belum menjelaskan bil itu. Pihak hospital berhubung dengan majikan Rajalingam (tunang Rajamani) yang telah mengeluarkan surat jaminan untuk rawatannya di hospital. Rajalingam kemudian membayar bil itu.

Peristiwa panahan petir itu menamatkan kerjaya olahraga Rajamani pada umur 25. Beliau berkata, "Peristiwa itu menghantui aku. Aku hampir terbunuh. Selepas itu, minatku terhadap berlari semakin berkurang dan aku memutuskan untuk berhenti." Setakat mana akibat kegagalan pegawai-pegawai olahraga untuk menunaikan janji mereka terhadap keputusan Rajamani tidak disebut.